Міністерство освіти та науки України Національний університет «Львівська політехніка» кафедра автоматизація теплових та хімічних процесів / Розрахунково-графічна робота з дисципліни Теорія інформації  Львів 2011р. Завдання: На вхід джерела повідомлень поступає неперервний ансамбль повідомлень Х тривалістю t, який дискретизується з часом з інтервалом дискретизації Δt. Ансамбель Х на виході джерела може приймати одне з m=12 незалежних дискретних значень з кроком квантування Δх. Імовірність появи дискретних значень розподілена за нормальним законом розподілу імовірності f(x). Визначити: Диференційну ентропію неперервного повідомлення h(x) Крок квантування Δх Значення повідомлення на рівнях квантування xi і їх імовірності p(xi) Ентропію і кількість інформації Надлишковість джерела інформації Швидкість створення інформації H´(x) (потік інформації) Пропускна здатність каналу Побудувати рівномірний двійковий код та ефективні коди за методиками Шенона-Фано і Хаффмена Швидкість передавання інформації в залежності від обраного способу кодування Вихідні дані Варіант №16 t,с Δt,c σ xmax, ум.одиниць 
,мс  5 0,05 0,42 -2,0 1,16   1.Визначаємо диференційну ентропію неперервного ансамблю повідомлень.
2.Знаходимо крок квантування Δх. Крок квантування вибираємо таким що сумарна імовірність появи m=12 незалежних дискретних повідомлень дорівнювала 1. Задаємося значенням Δх=0,2 у.о. 3.Знаходимо значення повідомлень на рівнях квантування xi і їх імовірності p(xi). Починаючи від максимального значення xmax=x12 визначаємо значення повідомлень на рівнях квантування. xmax=x12 x11=x12- Δх x10=x11- Δх _ _ _ _ _ x1=x2- Δх Визначаємо значення густини розподілу f(xi) для всіх повідомлень xi. Для нормального закону розподілу вона має вигляд:

- середнє значення повідомлень
За отриманими значеннями f(xi) визначаємо імовірності p(xi) p(xi)= f(xi)·Δx Сумарна імовірність повинна дорівнювати 1. Якщо сумарна імовірність не дорівнює 1 то тоді змінюємо крок квантування. Програма розрахунку
, f(xi), p(xi) clc; h=0.7956; delt=0.05; delx=0.2; si=0.42; x=[2 1.8 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 -0.2]; Xc=sum(x)/12; f=exp(-(x-Xc).^2./2./si^2)/sqrt(2*pi)/si; p=f*delx; y=sum(p); plot(x,p,x,f); grid;  
=0,9 у.о. Значення xi, f(xi), p(xi) записуємо у таблицю. і 1 2 3 4 5 6 7 8 9 10 11 12  xi -0.2 0 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.6 1.8 2.0  f(xi) 0.03 0.096 0.237 0.468 0.736 0.923 0.923 0,736 0.468 0.237 0.096 0,03  p(xi) 0.006 0.019 0.047 0.094 0.147 0.185 0.189 0.147 0.094 0.047 0.019 0.006   Будуємо графік залежностей f(xi), p(xi). / 4.Визначаємо ентропію і кількість інформації неперервного і еквівалентного йому дискретного джерела повідомлень. Ентропія і кількість інформації неперервного повідомлення визначається наступним чином:
Ентропія і кількість інформації дискретного повідомлення визначається наступним чином:
Програма для розрахунку H(x) i I(x) clc; h=0.7956; delt=0.05; t=5; x=[2 1.8 1.6 1.4 1.2 1 0.8 0.6 0.4 0.2 0 -0.2]; n=t/delt; Hn=h-log2(delx); Hg=-sum(p.*log2(p)); Hmax=log2(12); In=n*Hn; Ig=n*Hg;  n=100 Hн(x)=3.1175 біт/пов Ін(х)=311.7528 біт Hд(x)=3.0788 біт/пов Ід(х)=307.8848 біт Hmax(x)=log2m= log212=3.5850 біт/пов Hд(x)≈ Hн(x)< Hmax(x) 5.Визначаємо надлишковість неперервного і дискретного джерела повідомлень.

6.Визначаємо потік інформації неперервного і дискретного джерела повідомлень.

7.Визначаємо пропускну здатність каналу.
8.Побудова рівномірного двійкового коду та ефективних кодів за методиками Шенона-Фано і Хаффмена. Рівномірний двійковий код x1 x2 x3 x4 x5 x6  0000 0001 0010 0011 0100 0101  x7 x8 x9 x10 x11 x12  0110 0111 1000 1001 1010 1011   Визначаємо швидкість передавання інформації і надлишковість кодових комбінацій

Метод Шенона-Фано Код за методикою Шенона-Фано будується наступним чином: символи повідомлення виписуються в таблицю за зменшенням їх імовірностей і розділяються на дві групи так щоб симу імовірностей у кож...